Ali là con của Cassius Marcellus Clay Sr. và Odessa Clay. Ông là em trai của Cassius Clay (Muhammad Ali). Rahman và Muhammad bắt đầu sự nghiệp võ sĩ quyền Anh tại một giải đấu trường quyền Anh ở Louisville, Kentucky. Trong khi người anh trai của ông được chọn vào Thế vận hội Mùa hè 1960, Rahman lại không được chọn và tiếp tục ở đấu trường cho đến ngày 25/2/1964, vào đêm mà anh trai của ông chiến thắng trước một nhà võ sĩ quyền Anh hạng nặng khác là Sonny Liston. Là một võ sĩ quyền Anh chuyên nghiệp, Rahman thắng 14 trận, thua 3 trận, và một trận hòa.  Trong sự nghiệp của ông, ông đã đo ván 7 đối thủ và từng một lần bị đối thủ đo ván. Sau khi thua vào ván cuối cùng của Rahman do bị đo ván bởi Jack O'Halloran ông giải nghệ làm một võ sĩ quyền Anh chuyên nghiệp. Rahman xuất bản một cuốn sách tự truyện vào 17/1/2015 với tiêu đề "That's Muhammad Ali's Brother! My Life on the Undercard", cùng với tác giả là H.Ron Brashear và lời tựa được viết bởi Gene Kilroy - một nhà kinh doanh, đồng thời là quản lý của Muhammad Miller.